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(S) Dispositif d'execution de commandes virtuelles autoadaptatrf. 

(67) L'invention concerne un dispositif d'execu- 
tion de commandes virtuelles autoadaptatrf. 

Le dispositif comporte des moyens d'execu- 
tion (1) entre un operateur et un systeme d' inte- 
raction homme-machine, et des moyens 
d'analyse (2). Les moyens d'interaction (1) four- 
nissent des informations aux moyens d'analyse 
(1) qui reconnaissent une commande, realisee 
par I'operateur, indiquant une action et un objet 
designe sur lequel porte cette action. Le dispo- 
sitif comporte en outre des moyens de memori- 
sation (3) des actions executables par le 
systeme. Une action executable memorisee est 
fonction au moins d'une commande. d'un 
moyen d'interaction et d'un objet. Les moyens 
de memorisation (3) sont relies aux moyens 
d'analyse (2) de maniere a ce que ceux-ci trans- 
mettent a des moyens d'execution (4) une 
action a executer en fonction au moins de la 
commande et des moyens d'interaction utilises 
par I'operateur et de I'objet qu'il designe. 

Application : Systemes d'interaction hom- 
me-machine. 
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La presente invention concerne un dispositif 
d'execution de commandes virtuelles autoadaptatif. 
Elle s'applique notamment a des systemes d'interac- 
tion, chaque canal etant par exemple utilise suivant 
plusieurs modes. Plus generalement, elle s'applique s 
a des systemes n'ayant pas de canal pr6ferentiel de 
dialogue, chaque canal d'interaction etant utilise par 
exemple au mieux de ses performances. 

Les systemes d'interaction homme-machine ac- 
tuels utilisent essentiellement des moyens de dialo- 10 
que conventionnels tels qu'un clavier, une souris ou 
une boule par exemple. Des commandes virtuelles 
existent generalement sur les micro-ordinateurs no- 
tamment sous forme de commandes graphiques. 
L utilisation des moyens de dialogue conventionnels 15 
precitesrendent assezlourde, peu ergonomique, I'uti- 
lisation des commandes virtuelles, qu'elles soient 
operationnelles sur des micro-ordinateurs ou sur des 
systemes d'interaction plus complexes. Avec ces 
moyens de dialogue actuels, ces commandes neces- 20 
sitent, pour fonctionner, de multiples operations de 
selections, realises generalement a. ('aide d'une sou- 
ris. Par exemple, I'operation de changement de taille 
dun objet graphique, necessite de selectionner un 
outil, le curseur, puis de selectionner I'objet, puis de 25 
selectionner sur un rectangle representant la taille de 
I'objet un des cotes, et enf in de le de placer dans une 
direction appropriee. Cette multitude d'operations, et 
leur complexite, diminuent la rapidite de realisation de 
la commande. Le manque de souplesse d'utilisation 30 
de ces commandes virtuelles est encore accru par le 
fait que chacune d'entre elles a generalement une 
fonction unique et ind6pendante de I'objet sur lequel 
elle intervient, un objet pouvant etre par exemple un 
element graphique d'un ecran de visualisation. 35 

Le but de I'invention est de pallier les inconve- 
nients pre cites, notamment en permettant aux 
commandes virtuelles de s'autoadapter au systeme 
dans lequel elles sont mises en oeuvre. 

A cet effet, I'invention a pour objet un dispositif 40 
d'execution de commandes virtuelles comportant des 
moyens d'interaction entre un operateur et un syste- 
me d'interaction homme-machine, et des moyens 
d 'analyse, les moyens d'interaction fournissant des 
informations aux moyens d'analyse qui reconnais- 45 
sent une commande, realisee par I'operateur, indi- 
quant une action et un objet designe sur lequel porte 
cette action, caracterise en ce qu'il com porte en outre 
des moyens de memorisation des actions executa- 
bles par le systeme, une action executable memori- so 
see etant fonction au moins d'une- commande, d'un 
moyen d'interaction etd'un objet, les moyens de me- 
morisation etant relies aux moyens d'analyse de ma- 
niere a ce que ceux-ci transmettent a des moyens 
d'execution une action a executer en fonction au 55 
moins de la commande et des moyens d'interaction 
utilises par I'operateur et de I'objet qu'il designe. 

L'invention a pour principaux avantages qu'elle 



permet d'accroTtre la rapidite d'execution des 
commandes virtuelles, qu'elle ameliore I'ergonomie 
des systemes d'interaction homme-machine, qu'elle 
diminue le nombre necessaire de commandes virtuel- 
les et qu'elle permet notamment d'utiliser des moyens 
d'interaction non conventionnels tels que la recon- 
naissance vocale, la reconnaissance gestuelle, I'ocu- 
lometrte ou la detection de positions par exemple. 

D'autres caracteristiques et avantages de I'inven- 
tion apparaitront a I 'aide de la description qui suit faite 
en regard des dessins annexes qui represented ; 

- la figure 1, un synoptique d'un mode de reali- 
sation possible d'un dispositif selon ('inven- 
tion ; 

- la figure 2, une illustration d'echanges de don- 
nees ; 

- la figure 3, un mode d'utilisation possible du 
dispositif selon I'invention. 

La figure 1 presente un synoptique d'un mode de 
realisation possible d'un dispositif selon I'invention. 
Des moyens d'interaction 1 sont relies a des moyens 
d'analyse 2 auxquels ils fournissent des messages. 
Les moyens d'interaction 1 permettent a un operateur 
de dialoguer avec une machine comportant notam- 
ment les moyens d'analyse 2. Les moyens d'interac- 
tion peuvent etre par exemple la voix, le geste, le re- 
gard ou la position de I'operateur associes a des 
moyens de reconnaissance, tels que la reconnaissan- 
ce vocale, la reconnaissance gestuelle, I'oculometrie 
ou la reconnaissance de positions. L' operateur, en uti- 
lisant ces moyens d'interaction, dispose d'un jeu de 
commandes virtuelles pour agir sur des objets qu'il 
designe, les commandes virtuelles indiquant la desi- 
gnation d'un objet et une action sur cet objet. Dans le 
cas d'utilisation des moyens d'interaction pre cites, 
I'operateur peut par exemple indiquer Taction de ma- 
niere vocale et designer I'objet d'un geste de la main. 
Un grand nombre de combinaisons et d'utilisation de 
moyens d'interaction peuvent en effet etre mises en 
oeuvre. Ces combinaisons rendent les commandes 
multimodals, un mode cor res pond ant a une combi- 
naison ou une utilisation de moyens d'interaction don- 
nees. Les moyens d'analyse 2 realised une analyse 
syntaxique des messages fournis par les moyens 
d'interaction 1 , puis interpreted ces messages et de- 
termined le ou les moyens d'interaction d'ou provien- 
nent ces messages. Pour un message recu et inter- 
pret e, ils ont done connaissance au moins, de la 
commande execute par I'operateur, du ou des 
moyens d'interaction utilises par I'operateur pour 
transmettre la commande, et de I'objet design6 par la 
commande, e'est-a-dire de I'objet sur lequel porte 
Taction indiqu6e par la commande. Des moyens 3 
pour memoriser les actions executables par le syste- 
me sont relies aux moyens d'analyse 2. Selon Inven- 
tion, une action executable memorisee est fonction 
d'au moins une commande, d'un moyen d'interaction 
et d'un objet. Les moyens d'analyse 2 ayant connais- 
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sance de ces trois parametres, its peuvent lire dans 
les moyens de memorisation 3 des actions executa- 
bles et indiquer en consequence a des moyens d 'exe- 
cution 4, les actions a exe cuter. Les actions executa- 
bies memorisees sont par exemple choisies de ma- 
niere a doter le systeme d'interaction homme-machi- 
ne d'une ca pa cite d'auto-adaptation au contexte de 
revolution de la com man de virtuelle, le contexte etant 
notamment defini par la commande elle-meme, par 
les moyens d'interaction et par I'objet designe par la 
commande et sur lequel porte faction commandee. 
Cela ameliore la souplesse et I'ergonomie du syste- 
me. 

Une commande virtuelle est composee generale- 
ment de plusieurs phases qui s'enchainent sequen- 
tiellement: Une commande virtuelle peut comprendre 
par exemple trois phases, une phase de selection, 
une phase de validation et une phase d'action. Selon 
('invention, une commande virtuelle possede la ca pa- 
cite d'adapterses actions en fonction de I'objet qui est 
selectionne. Cette adaptation peut se faire en fonction 
de la nature de I'objet, mais aussi par exemple en 
fonction de ses proprietes. 

A titre d'exemple, la commande suivante "pren- 
dre un objet du bout des doigts puis tourner la main 
autour de Taxe du bras" peut etre executee. Dans le 
cas oil la commande virtuelle est composee des trois 
phases precedentes, une fois les phases de selection 
et validation terminees, la commande virtuelle execu- 
te parmi les actions executables celle qui correspond 
a I'objet selectionne. Ainsi, les actions executables 
peuvent par exemple etre les suivantes : 

- rotation, 

- zoomdiscret, 

- zoom continu, 

- reglage, 

- commutation 

et, les moyens d'interaction gestuels etant utilises, les 
actions en fonction de I'objet selectionne peuvent etre 
def inies par exemple de la maniere suivante : 

- si I'objet est un element graphique simple, Tac- 
tion est une rotation, 

- si I'objet est une fenetre, Taction est un zoom 
discret ou continu, 

- si I'objet est un potentiometre rotatif, Taction est 
un reglage. 

- si I'objet est un interrupteur ou un bouton. Tac- 
tion est une commutation. 

Toutes ces actions executables sont memorisees 
dans les moyens de memorisation 3. 

La figure 2 il lustre les echangestde donnees en- 
tre ces derniers et les moyens d'analyse 2. Les 
moyens d'analyse transmettent les moyens d'interac- 
tion util ises 5, les objets designes 6 et les commandes 
7, aux moyens de memorisation 3. Les trois types de 
parametres peuvent par exemple constituer T entree 
d'une table, lis designent les actions executables 8, 
ces dernieres etant lues par les moyens d'analyse 2. 



Le sens de la commande est interpretee par les 
moyens d'analyse 2 apres avoir ete interpretee de fa- 
con syntaxique en reconnaissant son vocabulaire. 
Les commandes 7 servant a designer ies actions exe- 

5 cutables sont done une traduction codee des 
commandes executees par Toperateur, par exemple 
le geste "prendre un objet du bout des doigts puis 
tourner la main autour de Taxe" ou toute autre phrase 
par lee. Les system es d'interaction homme-machine 

10 peuvent disposer par exemple d'une grande rich esse 
de vocabulaire. En effet;.afinde demander un mini- 
mum d'efforts de la part de Tutilisateur, notamment en 
situation critique, les vocabulaires, vocal ou gestuel, 
sont riches. En consequence, les commandes virtuel- 

15 les integrent un grand nombre de formes de dialo- 
gues. Les commandes virtuelles s'accommodent par 
exemple de dialogues riches pour des situations cat- 
mes et de dialogues rapides, de style telegraphique, 
pour les situations critiques. Dans Texemple d'appli- 

20 cation precedent, la commande virtuelle dont le voca- 
bulaire gestuel est "prendre un objet du bout des 
doigts puis tourner la main autour de Taxe du bras" 
designe un element graphique simple comme objet et 
recourt aux gestes de la main comme moyens d'inte- 

25 raction, et Taction executable designee est la rotation. 

Les moyens d'analyse 2 transmettent une infor- 
mation aux moyens d'execution 4 qui indique que Tac- 
tion a executer est celle designee, ici ia rotation dans 
Texemple cite. 

30 L'invention peut s'appiiquer a des commandes 

virtuelles ayant un ou plusieurs modes de realisation. 
II est possible d'evaluerTensembledes combinaisons 
de moyens d'interaction qui permettent le deroule- 
ment des phases d'une commande donnee, ces pha- 

35 ses etant par exemple la selection, la validation et la 
ou les actions. 

Chacune de ces combinaisons definit un mode 
de realisation de la commande virtuelle. Selon l'in- 
vention, les actions executables memorisees dans 

40 les moyens de memorisation 3 peuvent etre aussi 
fonction du mode de realisation 1 d'une commande. 

A titre d'exemple, il est possible de considerer un 
systeme d'interaction homme-machine comportant 
comme moyens d'interaction d'entree, e'est-a-dire de 

45 Toperateur vers le systeme, un systeme de recon- 
naissance vocal e, un systeme de reconnaissance 
gestuelle et un systeme de detection de la main. Ce 
systeme d'interaction peut avoir par exemple un 
ecran de visualisation comme systeme d'interaction 

so de sortie. Un exemple de commande realisee peut 
etre par exemple "effacer unobjetde Tecran de visua- 
lisation". La voix peut servir a selecter et valider en 
prononcant le nom de I'objet, la validation etant impli- 
cite. Elle peut aussi ordonner des actions, par exem- 

55 pie Tordre de fermer. La main peut servir a selecter, 
en destgnant du doigt par exemple. Elle peut aussi va- 
lider et ordonner des actions, en produisant des ges- 
tes par exemple. De ces possibilites precitees, se de- 
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duisent au moins trois modes permettant d'effacer 
Tobjet. 

Un premier mode de realisation de fa comma nde 
est total erne nt verbal : la voix dit par exemple "ef facer 
Tobjet", la selection se faisant par le nom de Tobjet, la 5 
validation etant implicite et Taction etant "effacer". 

Un deuxieme mode de realisation de la comman- 
de est verbal avec designation manuelle. L'ecran est 
montre du doigt, ce qui cree un retour visuel indiquant 
un point designe, ce point etant sur Tobjet designe par w 
I'operateur. La voix dit par exemple : "ef facer", ce qui 
valide la commande et cree Taction d'effacer. 

Un troisieme mode est total erne nt gestuel. La 
main s'approche par exemple de l'ecran jusqu'a ('ap- 
parition du retour visuel pre cite. Le retour visuel est 15 
amene sur I'objet, cequi realise la selection de ce der- 
nier. La validation est par exempie realisee par ferme- 
ture de la main simulant une prise de I'objet selection- 
ne. Un squelette de I'objet suit alors les mouvements 
de la main par exemple. Pour realiser Taction d'effa- 20 
cer Tobjet, la main est par exemple eloignee de Tecran 
puis ouverte. 

Pour cette m§me commande precitee, d'autres 
modes pourraient etre ajoutes, notamment en tenant 
compte du regard de I'operateur ou de la posture ou 25 
de la position de son corps par exemple. 

La multimodalite des commandes permet a I'ope- 
rateur d'interagir ou de dialoguer avec le systeme 
d'interaction suivant ses preferences. En s'adaptant 
aux drffe>ents modes de realisation des commandes, 30 
le dispositif selon I'invention rend notamment ces der- 
nieres plus eff icaces et plus rapides d'execution. Cet- 
te adaptation etant realisee notamment en rendant les 
actions executables memorisees fonction de ces mo- 
des. 35 

Les commandes peuvent aussi etre adaptees a 
des operateurs, notamment en fonction de leur expe- 
rience ou de leur capacite, qu'ils soient novices ou ex- 
perts par exemple. Un autre parametre determinant 
les actions executables memorisees par les moyens 40 
de memorisation 3 est alors ajoute. Ce parametre 
peut etre ('experience, la qualification ou des ele- 
ments de la person nalite de I'operateur par exemple. 
La specificite de chaque operateur peut se determi- 
ner par exemple a travers le vocabulaire vocal ou ges- 45 
tuel qu'il emploie. L'adaptation des commandes aux 
operateurs peut se traduire par exemple par un elar- 
gissement ou par une restriction du champ de leurs 
actions. 

Selon I'invention, les commandes virtuelles peu- 50 
vent aussi s'adapter au systeme d'interaction hom- 
me-machine sur lequel elles agissent. A cet effet, les 
actions executables memorisees sont aussi fonction 
de Tetat du systeme. Cet etat peut etre par exemple 
defini par la combinaison des moyens d'interaction 55 
mis en oeuvre appliquee a une action donnee. 

Le dialogue entre un operateur et le systeme est 
ainsi notamment securise. En effet la realisation des 



commandes en fonction de Tetat du systeme evite 
['execution d'actions parasites inutiles ou inoperan- 
tes, affichant de fausses informations, notamment. 
Le dialogue est ainsi securise par le fait que toute 
commande que veut executer un operateur aboutit 
par exemple a une action autre qu'un simple message 
d'erreurs. Un exemple de situation peut alors etre le 
suivant: un operateur desire ouvrir une fenetre, par 
exemple radar. II prononce la phrase "ouvrir radar". Or 
la fenetre radar est deja ouverte, mais est masquee 
par une autre fenetre. Grace a l'adaptation de la 
commande a cet etat du systeme, la commande "ou- 
vrir", au lieu de se terminer par un message d'erreur 
du type "fenetre deja ouverte" par exemple, execute- 
ra Taction "passer la fenetre radar au premier plan". 

La figure 3 presente un mode d'utilisation possi- 
ble du dispositif selon I'invention. Le systeme d'inte- 
raction homme-machine est base sur ('utilisation d'un 
ecran de visualisation et de moyens d'interaction pri- 
vilegiant des canaux sensoriels et moteurs humains 
comme la parole, le geste, Touie et la vue notamment. 
Son utilisation peut permettre la gestion de systemes 
complexes, comme un systeme d'avion par exemple, 
en assurant notamment un dialogue quasi naturel en- 
tre un operateur et la machine. L'operateur, au moyen 
de gestes ou de paroles par exemple, interagit avec 
Tecran de visualisation qui est un espace contenant 
des objets sur lesquels vont porter les commandes 
virtuelles. 

Les moyens d'interaction 1 comprennent des 
moyens d'interaction d 'entree 31, 32, 33, 34 et des 
moyens d'interaction de sortie 35, 36. Ces derniers 
comprennent Tecran de visualisation 35 precite et un 
systeme de synthese vocale 36 qui peut delivrer des 
messages vocaux, des alarmes ou des messages 
d'erreur par exemple. L'ecran de visualisation 35 est 
par exemple un ecran eclaire par un retroprojecteur a 
cristaux liquides. 

Les moyens d'interaction d'entree comprennent 
un oculometry 31 , un systeme de reconnaissance vo- 
cale 32, un systeme de reconnaissance gestuelle 33 
et des capteurs de positions 34. L'oculometre 31 me- 
sure la direction du regard de I'operateur 37 par rap- 
port a la tete de ce dernier a Taide d'une microcamera 
analysant le reflet corneen dune diode infra-rouge 
eclairant son oeil droit par exemple. Le systeme de re- 
connaissance vocale 32 declenche par exemple par 
une detection d'activite, effectue une analyse phone- 
tique du signal apres T a voir separe en messages et 
en mots par exemple. Le systeme de reconnaissance 
gestuelle 33 reconnaTt par exemple les gestes de la 
main. A cet effet, il est par exemple constitue d'un dis- 
positif a fibre optique equipant un gant porte par la 
main, permettant de mesurer Tangle de flexion des 
deux premieres articulations de chaque doigt. Un dis- 
positif associe permet par exemple de reconnaitre 
une posture, la forme de la main notamment, parmi 
un ensemble de postures prealablement enregis- 



BNSDOCID: <EP 0591M4A1_I_> 



EP 0 591 044 A1 



trees. Les capteurs de positions 34 sont par exemple 
des capteurs electromagnetiques couples a des 
emetteurs fixes dormant ies positions et les orienta- 
tions de la main et de la tete de I' operate ur 37, ils 
pourraient cependant capter la position d'autres par- 
ties du corps de I'operateur 37. Tous ces moyens d'in- 
teraction d 'entree sont par exemple autonomes et 
fournissentcycliquementde maniere asynchrone des 
donnees sur I'activite de I'operateur 37. 

Les moyens d'interaction d'entree 31, 32, 33, 34 
sont relies aux moyens d'analyse 2 et les moyens 
d'interaction de sortie 35, 36 sont relies aux moyens 
d'execution 4. Sur la figure 3, le sens des fleches in- 
dique le sens des informations echangees. 

A titre d'exemple, les commandes virtuelles sur 
les objets de I'ecran interactif peuvent etre de cinq ty- 
pes qui sont les suivants : 

- un message vocal, 

- un message vocal et une designation manuel- 
le, 

- un message vocal et une designation oculaire, 

- un message manuel, 

- un message manuel et une designation oculai- 
re. 

Elles peuvent par exemple avoir pour resultat les ac- 
tions suivantes : 

- ouverture d'une fenetre, 

- fermeture d'une fenetre, 

- zoom d'une fenetre, 

- de placement d'une fenetre, 

- manipulation d'un bouton, 

- reglage d'un potentiometre. 

Ces actions sont notamment memorisees dans 
les moyens de memorisation des actions executables 
3. Ces actions sont par exemple fonction des parame- 
tres pre cites, a savoir, les moyens d'interaction utili- 
ses, les commandes, les objets, et les modes de rea- 
lisation des commandes, les ope rate urs ou I'etat du 
systeme. Par exemple, le geste signif iant "prendre" 
est interprets comme "deplacer" si I'objet surlequel il 
porte est une fenetre ou comme "marquer" sj I'objet 
sur lequel il porte est un bouton. 



d'une commande, d'un moyen d'interaction et 
d'un objet, les moyens de memorisation (3) etant 
relies aux moyens d'analyse (2) de maniere a ce 
que ceux-ci transmettent a des moyens d'execu- 
tion (4) une action a executer en fonction au 
moins de la commande et des moyens d'interac- 
tion utilises par I'operateur (37) et de I'objet qu'il 
designe. 

10 2. Dispositif selon la revendication 1 , caracterise en 
ce que les actions executables memorisees sont 
fonction des modes de realisation des comman- 
des. 

15 3. Dispositif selon I'une quelconque des revendica- 
tions precedentes, caracterise en ce que les ac- 
tions executables memorisees sont fonction de 
I'operateur (37). 

20 4. Dispositif selon I'une quelconque des revendi ca- 
tions precedentes, caracterise en ce que les ac- 
tions executables memorisees sont fonction de 
I'etat du systeme d'interaction homme-machine. 

25 5. Dispositif selon Tune quelconque des revendica- 
tions precedentes, caracterise en ce que les 
moyens d'interaction (1) comprennent un oculo- 
metre (31), un systeme de reconnaissance voca- 
le (32), un systeme de reconnaissance gestuelle 

30 (33) et des capteurs de position (34) de I'opera- 

teur (37). 

6. Dispositif selon Tune quelconque des revendica- 
tions precedentes, caracterise en ce que les 

35 commandes portent sur des objets visualises par 

un ecran (35). 

7. Dispositif selon I'une quelconque des revendi ca- 
tions precedentes, caracterise en ce que les 

40 commandes agissent sur un systeme de syntha- 

se vocale (36). 



5 



Revendications 45 

1. Dispositif d'execution de commandes virtuelles 
comportant des moyens d'interaction (1 ) entre un 
operateur (37) et un systeme d'interaction hom- 
me-machine, et des moyens d'analyse (2), les 50 
moyens d'interaction (l)fournissantdes informa- 
tions aux moyens d'analyse (2) qui reconnaissent 
une commande, realisee par I'operateur (37), in- 
diquant une action et un objet designe sur lequel 
porte cette action, caracterise en ce qu'il compor- 55 
te en outre des moyens de memorisation (3) des 
actions executables par le systeme, une action 
executable memorisee etant fonction au moins 
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